Shogun Ashikaga Yoshimasa là người sai vẽ sơ đồ xây cất cơ sở này làm tư dinh từ năm 1460 với ý định làm nơi an dưỡng tuổi già,[1] Khi Chiến tranh Ōnin nổ ra thì việc xây cất bị đình trệ. Shogun Yoshimasa muốn dùng bạc lá dát lên vách nhưng kế hoạch đó trì hoãn mãi rồi cuối cùng khi Yoshimasa mất vẫn không được thực hiện. Hình dạng vách bằng gỗ để mộc, hoàn toàn không tô phết (kiểu "wabi-sabi" theo mỹ quan Nhật Bản) là y như cảnh quan Yoshimasa đã thấy trước khi nhắm mắt.[2]

Khi còn sinh thời, Shogun Ashikaga Yoshimasa đã rút về đây trong khi nội chiến Onin cấu xé đất nước và cả kinh thành Kyoto ngụt lửa. Cảnh trí vườn tược, đình quán xây dựng ở Ngân Các Tự phát sinh phong trào khai phóng nghệ thuật theo phong cách mới với tên Higashiyama Bunka (Đông Sơn Văn hóa).

Năm 1485 Yoshimasa bỏ ngôi Shogun mà đi tu rồi mất vào đầu năm 1490 (nhằm ngày 7 tháng Giêng âm lịch, niên hiệu Entoku 延徳 Diên Đức thứ nhì).[3] Tư dinh Ngân Các được đổi làm chùa thờ Phật,[2] lấy tên là Jishō-ji (Từ Chiếu Tự) theo pháp danh của Yoshimasa.